In [1]:
!pip install gensim newspaper3k
Requirement already satisfied: gensim in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (3.8.0)
Requirement already satisfied: newspaper3k in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (0.2.8)
Requirement already satisfied: smart-open>=1.7.0 in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from gensim) (1.8.4)
Requirement already satisfied: six>=1.5.0 in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from gensim) (1.12.0)
Requirement already satisfied: scipy>=0.18.1 in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from gensim) (1.2.1)
Requirement already satisfied: numpy>=1.11.3 in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from gensim) (1.16.2)
Requirement already satisfied: nltk>=3.2.1 in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from newspaper3k) (3.4)
Requirement already satisfied: requests>=2.10.0 in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from newspaper3k) (2.21.0)
Requirement already satisfied: tinysegmenter==0.3 in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from newspaper3k) (0.3)
Requirement already satisfied: feedfinder2>=0.0.4 in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from newspaper3k) (0.0.4)
Requirement already satisfied: cssselect>=0.9.2 in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from newspaper3k) (1.1.0)
Requirement already satisfied: Pillow>=3.3.0 in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from newspaper3k) (5.4.1)
Requirement already satisfied: tldextract>=2.0.1 in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from newspaper3k) (2.2.1)
Requirement already satisfied: PyYAML>=3.11 in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from newspaper3k) (5.1)
Requirement already satisfied: jieba3k>=0.35.1 in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from newspaper3k) (0.35.1)
Requirement already satisfied: feedparser>=5.2.1 in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from newspaper3k) (5.2.1)
Requirement already satisfied: beautifulsoup4>=4.4.1 in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from newspaper3k) (4.7.1)
Requirement already satisfied: python-dateutil>=2.5.3 in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from newspaper3k) (2.8.0)
Requirement already satisfied: lxml>=3.6.0 in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from newspaper3k) (4.3.2)
Requirement already satisfied: boto3 in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from smart-open>=1.7.0->gensim) (1.9.198)
Requirement already satisfied: boto>=2.32 in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from smart-open>=1.7.0->gensim) (2.49.0)
Requirement already satisfied: singledispatch in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from nltk>=3.2.1->newspaper3k) (3.4.0.3)
Requirement already satisfied: idna<2.9,>=2.5 in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from requests>=2.10.0->newspaper3k) (2.8)
Requirement already satisfied: certifi>=2017.4.17 in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from requests>=2.10.0->newspaper3k) (2019.3.9)
Requirement already satisfied: urllib3<1.25,>=1.21.1 in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from requests>=2.10.0->newspaper3k) (1.24.1)
Requirement already satisfied: chardet<3.1.0,>=3.0.2 in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from requests>=2.10.0->newspaper3k) (3.0.4)
Requirement already satisfied: setuptools in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from tldextract>=2.0.1->newspaper3k) (40.8.0)
Requirement already satisfied: requests-file>=1.4 in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from tldextract>=2.0.1->newspaper3k) (1.4.3)
Requirement already satisfied: soupsieve>=1.2 in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from beautifulsoup4>=4.4.1->newspaper3k) (1.8)
Requirement already satisfied: botocore<1.13.0,>=1.12.198 in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from boto3->smart-open>=1.7.0->gensim) (1.12.198)
Requirement already satisfied: jmespath<1.0.0,>=0.7.1 in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from boto3->smart-open>=1.7.0->gensim) (0.9.4)
Requirement already satisfied: s3transfer<0.3.0,>=0.2.0 in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from boto3->smart-open>=1.7.0->gensim) (0.2.1)
Requirement already satisfied: docutils<0.15,>=0.10 in c:\users\bowlmin\anaconda3\envs\py36\lib\site-packages (from botocore<1.13.0,>=1.12.198->boto3->smart-open>=1.7.0->gensim) (0.14)
In [2]:
from gensim.summarization.summarizer import summarize
from newspaper import Article

url = 'https://www.edaily.co.kr/news/read?newsId=01774486622584696&mediaCodeNo=257&OutLnkChk=Y'
news = Article(url, language='ko')
news.download()
news.parse()
print(news.text)
[이데일리 이정훈 기자] 국내 최초로 사회성과연계채권(SIB)을 도입한 서울시가 제2호 프로젝트를 출범시킨다. 1호 경계성 지능 아동의 학습능력 향상에 이어 이번에는 국가적 난제로 부각되고 있는 청년실업 해소를 위해 SIB를 활용하기로 했다.서울시는 6일 팬임팩트코리아와 `서울특별시 청년실업 해소를 위한 사회성과보상사업` 계약을 체결했다. 팬임팩트코리아는 SIB사업의 기획과 운영을 담당하는 국내 유일의 법인으로, 국내 최초 SIB사업에 이어 이번 사업에도 운영기관으로 선정됐다. SIB는 민간 투자자금을 모아 공공사업을 수행한 뒤 소정의 성과목표를 달성하면 정부나 지방자치단체가 예산을 집행해 투자자에게 원금과 이자를 함께 상환하는 계약을 말한다.이번 SIB사업을 통해 서울시는 시내에 거주하고 일자리가 없는 청년들에게 국내·외 취업과 창업을 위한 프로그램을 3년 간 제공하게 되며 총 사업비 30억원 가운데 29억원을 민간 투자로 조달하게 된다. 팬임팩트코리아는 민간 투자자를 모집하고 이후 사업을 진행할 수행기관을 공모할 예정이다. 이후 서울시는 독립된 평가기관을 선정한다.이번 사업은 청년들의 일자리 문제를 개선하고 효과를 검증하기 위해 추진되는데, 사업대상은 서울시에 거주하는 만 19~34세의 일자리가 없는 청년 500명 이상이며 3년 간 사업이 진행될 예정이다.성과지표는 국내·외 취업자 또는 창업자 수로, 정해진 성과목표를 달성할 경우 투자자에게 원금에 더해 약 25%의 인센티브가 지급된다. 성과측정은 평가기관에 의해 1년 단위로 이뤄지며 3년간의 사업이 종료된 이후 최종적인 성과가 측정된다.투자자 모집과 관련해서는 현재 법정모금단체인 사회복지공동모금회(사랑의열매)가 일정 금액을 투자하는 것을 긍정적으로 검토하고 있으며 실무 준비를 진행 중이다. 특히 사회복지공동모금회는 다른 투자자의 유입을 독려하고 SIB시장을 활성화하기 위해 자신들이 받을 수 있는 인센티브 일부를 다른 투자자들에게 양보하는 것까지 검토하고 있는 것으로 알려졌다.아울러 팬임팩트코리아는 크라우드펀딩 기업인 비플러스와 협약을 맺어 일부 투자금을 크라우드펀딩으로 조달할 계획도 가지고 있다. 이는 일반 시민들에게 SIB사업을 알리고 다양한 투자자들의 참여도 촉진되는 긍정적인 효과가 있을 것으로 기대된다.
In [3]:
print(summarize(news.text))
SIB는 민간 투자자금을 모아 공공사업을 수행한 뒤 소정의 성과목표를 달성하면 정부나 지방자치단체가 예산을 집행해 투자자에게 원금과 이자를 함께 상환하는 계약을 말한다.이번 SIB사업을 통해 서울시는 시내에 거주하고 일자리가 없는 청년들에게 국내·외 취업과 창업을 위한 프로그램을 3년 간 제공하게 되며 총 사업비 30억원 가운데 29억원을 민간 투자로 조달하게 된다.
In [12]:
print(summarize(news.text, word_count=30))
SIB는 민간 투자자금을 모아 공공사업을 수행한 뒤 소정의 성과목표를 달성하면 정부나 지방자치단체가 예산을 집행해 투자자에게 원금과 이자를 함께 상환하는 계약을 말한다.이번 SIB사업을 통해 서울시는 시내에 거주하고 일자리가 없는 청년들에게 국내·외 취업과 창업을 위한 프로그램을 3년 간 제공하게 되며 총 사업비 30억원 가운데 29억원을 민간 투자로 조달하게 된다.
In [8]:
print(summarize(news.text, ratio=0.2))
SIB는 민간 투자자금을 모아 공공사업을 수행한 뒤 소정의 성과목표를 달성하면 정부나 지방자치단체가 예산을 집행해 투자자에게 원금과 이자를 함께 상환하는 계약을 말한다.이번 SIB사업을 통해 서울시는 시내에 거주하고 일자리가 없는 청년들에게 국내·외 취업과 창업을 위한 프로그램을 3년 간 제공하게 되며 총 사업비 30억원 가운데 29억원을 민간 투자로 조달하게 된다.
In [13]:
text = '''
[곰 같은 사람]
저는 곰 같다는 소리를 자주 듣는 사람입니다. 외형적으로 닮은 부분도 있지만, 리더로서, 구성원으로서 언제나 묵묵하게 저 자신이 해야 할 일을 했기 때문입니다. '디지털 인문 예술 입문'이라는 수업에서 마지막 조별 프로젝트를 제출해야 하는 일이 있었습니다. 그 당시 조원들은 수업 시간에 잠깐 배운 파이썬 프로그램을 활용할 것을 제안했고, 교수님께서는 어려울 것이니 실패를 통해 배운 것들을 제출하라고 말씀하셨습니다. 교수님의 말씀에 조원들도 약한 마음을 가졌지만 제가 솔선수범하여 컴퓨터 공학을 전공하는 친구에게 배우고, 현재 개발자로 일하고 있는 사람들과 교수님들에게 질문하였습니다. 조원들은 끝까지 프로젝트에 매달리는 모습을 보고 조원들도 열심히 잘 따라와 주었고 그 모습이 자극제가 되어 더욱 열심히 하게 되었습니다. 결국 프로젝트에 성공하여 교수님께 인정받았습니다. 이런 모습이 리더와 구성원들에게 항상 듬직한 모습을 보였고, 그 덕분에 믿음직한 사람, 열심히 일하는 사람으로 평가받았습니다. 또한 끝까지 노력해서 실패할 것은 없다는 교훈을 얻었고, 그 생각을 제 인생의 좌우명으로 가지고 있습니다.

[첫 도전]
친구와 웹 데이터 크롤링 프로젝트를 했을 때가 가장 기억에 남습니다. 데이터 분석이라는 부분에 관심을 가지고 친구와 Python에 관해 공부하고 있을 때였습니다. 매주 목요일 친구와 카페에서 만나던 도중, 문득 카페 브랜드별로 어떤 이미지를 가졌는지 궁금했습니다. 그래서 인스타그램에서 해시태그를 가져오는 프로그램을 만들기 위해 낮에 만나서 밤에 들어가는 일은 다반사였고, 각자 집에서도 공부하여 오류를 해결하는 작업을 하였습니다. 결국 인스타그램 측에서 차단하여 카페 브랜드별로 6천 개가량의 데이터만 가져와서 분석할 수 있었습니다. 이런 상황을 겪으니 제가 문제에 닥쳤을 때 끝까지 해결하기 위해 밤낮으로 노력했던 것이 제가 열정과 끈기가 있는 사람으로 느껴졌습니다.

'''
In [14]:
print(summarize(text))
조원들은 끝까지 프로젝트에 매달리는 모습을 보고 조원들도 열심히 잘 따라와 주었고 그 모습이 자극제가 되어 더욱 열심히 하게 되었습니다.
친구와 웹 데이터 크롤링 프로젝트를 했을 때가 가장 기억에 남습니다.
데이터 분석이라는 부분에 관심을 가지고 친구와 Python에 관해 공부하고 있을 때였습니다.
In [15]:
print(summarize(text, word_count=30))
조원들은 끝까지 프로젝트에 매달리는 모습을 보고 조원들도 열심히 잘 따라와 주었고 그 모습이 자극제가 되어 더욱 열심히 하게 되었습니다.
친구와 웹 데이터 크롤링 프로젝트를 했을 때가 가장 기억에 남습니다.
In [16]:
print(summarize(text, ratio=0.2))
조원들은 끝까지 프로젝트에 매달리는 모습을 보고 조원들도 열심히 잘 따라와 주었고 그 모습이 자극제가 되어 더욱 열심히 하게 되었습니다.
친구와 웹 데이터 크롤링 프로젝트를 했을 때가 가장 기억에 남습니다.
데이터 분석이라는 부분에 관심을 가지고 친구와 Python에 관해 공부하고 있을 때였습니다.
In [ ]: